Vào đầu thời Gia Long (1802-1819), đây chỉ là một toà nhà nhỏ có tên Bảng đình, dùng làm nơi công bố các chiếu thư, chỉ dụ của nhà vua hoặc các bảng thi Hội, thi Đình cho dân chúng. Năm 1819, Bảng đình được thay thế bằng một một to kiến trúc hai tầng mái với 16 cây cột, xung quanh không có vách, tạo nét thanh tú và độc đáo với tên gọi là Phu Văn lâu. Phu Văn lâu còn là nơi ban phát lịch hoặc các sinh hoạt vui chơi dành cho dân chúng do triều đình tổ chức...Thời Minh Mạng, nhà vua quy định sau khi các chiếu thư được tuyên đọc ở Ngọ Môn hoặc điện Thái Hoà sẽ được đặt trên long đình, có che lọng và quân lính theo hầu hai bên để đưa ra niêm yết tại Phu Văn lâu. Các quan hàng tỉnh và hương lão phải đến quỳ lạy trước chiếu thư.
Năm 1829 đã từng có một cuộc đấu giữa voi và cọp trước lầu để cho vua Minh Mạng ra xem. Vào các dịp tứ tuần, ngũ tuần của Minh Mạng có nhiều cuộc vui khác được tổ chức ở đây. Về sau các vua Thiệu Trị, Tự Ðức cũng giữ cái lệ ấy nhân những ngày khánh thọ của mình. Vua Thiệu Trị xem sông Hương và lầu Phu Văn là một trong 20 cảnh đẹp ở chốn Thần Kinh.
Năm 1843, Thiệu Trị cho dựng một nhà bia bên phải của lầu để khắc bài thơ Hương Giang Hiểu Phiếm (Buổi sớm bơi thuyền trên sông Hương).
Năm 1916, Trần Cao Vân, Thái Phiên đã giả vờ ngồi câu cá ở bến Phu Văn lâu để bí mật gặp vua Duy Tân bàn việc khởi nghĩa. Chẳng may việc bất thành, vua Duy Tân bị quân Pháp bắt và đày ra đảo Réunion. Tương truyền mấy câu ca dưới đây có ý nhắc đến việc này:
Chiều chiều trước bến Văn Lâu,Ai ngồi, ai câu, ai sầu, ai thảm?Ai thương, ai cảm, ai nhớ, ai trông?Thuyền ai thấp thoáng bên sông,Nghe câu mái đẩy, chạnh lòng nước non![2]
Lúc 5h50 sáng ngày 15 tháng 05 năm 2014, Phu Văn lâu bị sập một góc bên trái. Nguyên nhân là do mối mọt phá hoại và lâu ngày không được tu bổ, sửa chữa.[3][4]
